Ngày 16 tháng 11 năm 1264, Lý Tông qua đời, thái tử Kì nối ngôi, là Tống Độ Tông[10]. Tháng 4 ÂL, Tự Đạo được tấn phong Thái sư Ngụy quốc công; Độ Tông gọi Tự Đạo là sư thần, triều thần gọi là Châu công, đặc cách mỗi lần vào triều được ngồi dâng tấu, khi đối đáp không phải xưng tên[11].

Từ sau khi an táng Lý Tông xong xuôi, Tự Đạo xin từ quan về đất Việt, nhưng lại ngầm dặn Lã Văn Đức phao tin đồn rằng quân Mông Cổ đã đánh tới Hạ Đài; cả triều đình nhà Tống kinh hoàng. Độ Tông viết chiếu triệu, Tự Đạo làm mình làm mẩy không chịu tới; phải đến khi Tạ thái hậu có chiếu tay đòi gấp, Tự Đạo mới vào triều. Khi Tự Đạo tới, Độ Tông bái ông làm Thái sư, Tiết độ sứ Trấn Đông; Tự Đạo giận nói chức tiết độ sứ để bọn thô bỉ làm đi; rồi lại dùng dằng xin từ quan. Độ Tông nói mãi không được, đành phải quỳ lạy xin Tự Đạo ở lại[11]. Tham chính Giang Vạn Lý vốn là môn khách cũ của Tự Đạo nhưng cũng thấy bất bình, vội nắm tay nhà vua mà tâu

Từ xưa đến nay nào có lệ vua phải lạy đại thần. Bệ hạ đừng bái lạy như vậy mà gây khó dễ cho Tự Đạo.

Tự Đảo mất hứng, nhưng cũng phải vờ cảm thấy khó xử, bước xuống điện tạ lỗi với Vạn Lý

Nếu không có lời nói của ông thì Tự Đạo đã là tội nhân thiên cổ.[11]

Và từ đó Tự Đạo ghét Vạn Lý, Vạn Lý biết chuyện đành phải xin từ chức làm An phủ sứ Hồ Nam mới tránh được tai vạ. Năm Hàm Thuần thứ ba (1267), Tự Đạo lại xin nghỉ. Độ Tông trong 4, 5 ngày liên tục lệnh đại thần, thị tòng thay phiên đến truyền chỉ cho Tự Đạo ở lại. Lại còn sai người vào đêm tối trông nom bên ngoài phủ đệ Tự Đạo sợ Tự Đạo bỏ trốn mất. Lại tiến phong Tự Đạo làm Thái sư, Bình chương quân quốc trọng sự, trên ngạch tể tướng; một tháng 3 lần đến kinh diên, 3 ngày vào triều một lần, đến Trung thư đường trị sự. Lại ban cho phủ đệ ở Cát Lĩnh để ông có chỗ nghỉ ngơi[2]. Từ đó việc triều chính rơi cả vào tay Tự Đạo. Nhưng Tự Đạo nào có thiết gì đến việc nước, chỉ suốt ngày âu yếm bên lũ tì thiếp, ca kĩ. Ở Lâm An có ca kĩ Phan Xứng Tâm được Tự Đạo đưa vào phủ vui chơi; trong cung có cung nữ Trương thị, Diệp thị được Độ Tông ưa thích, Tự Đạo bức cả hai ra khỏi cung vào phủ hầu hạ mình; Độ Tông biết chuyện mà không dám nói. Tự Đạo thích trò chọi dế, trong phủ nuôi rất nhiều dế đá, người đương thời gọi là Tất suất tể tướng, tức là tể tướng chọi dế.

Việc quốc gia đại sự Tự Đạo giao cho thân cận giải quyết, chỉ xem những bản tấu đàn hặc của ngôn quan, chư ti; do đó không ai dám dâng lời nói thẳng. Nhiều đại thần như Lý Phi, Văn Thiên Trường, Trần Văn Long, Lục Đạt, Đỗ Uyên... bị Tự Đạo ghét bỏ và bị giáng chức. Chánh nhân hiền sĩ đều bị đuổi ra khỏi triều, những ai muốn giữ thân thì phải đem vàng bạc châu báu đến ra mắt Tự Đạo. Năm 1269 Tự Đạo lại xin từ quan, Độ Tông khóc mà lưu lại, Tự Đạo nhất quyết không chịu; cuối cùng phải đặc cách cho Tự Đạo 6 ngày vào triều một lần, một tháng 2 lần tới Kinh diên[2]. Năm thứ 6 (1270), được phép vào triều không phải bái lạy, khi ra triều thì Độ Tông đích thân đưa tiễn. Về sau còn cho 10 ngày mới vào triều một lần.

Bấy giờ trong triều chỉ biết có Tự Đạo chứ không biết có Độ Tông. Một hôm vào năm 1272, triều đình có việc hạ minh đường, Độ Tông cho Tự Đạo làm Đại Lễ sứ. Lễ xong thì trời bỗng mưa, Tự Đạo khuyên Độ Tông hết mưa hẵng về. Nhưng chờ mãi mưa vẫn không hết, khi đó Hồ Hiến Tổ là anh Hồ quý tần thỉnh cầu về cung (mặc dù chưa hỏi ý Tự Đạo). Độ Tông nói

Giả Bình chương chắc gì đã cho đi.

Hiến Tổ bảo Tự Đạo chắc không quan tâm đến những việc này, Độ Tông bèn ra về. Tự Đạo hay tin, tức giận nói

Thần làm đại lễ sứ, Bệ hạ làm gì thì không được biết, vậy xin bãi thần đi.

Rồi bỏ ra khỏi triều đình theo hướng cửa Gia Hội. Độ Tông cố sức giữ lại cũng không được. Cuối cùng đành phải bãi quan của Hiển Tổ, gạt nước mắt phế bỏ Hồ quý tần, cho làm ni cô. Khi đó Tự Đạo mới vào triều[12].